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^> (57) Abstract: The invention relates to a method for determining a three-dimensional position of passengers of a motor vehicle. 
S The inventive method consists in observing the passengers of the vehicle with the aid of at least two cameras (1, 2, 1', 2') which 
<^ are disposed in such a way that they can operate in non-stereo mode, extracting the appropriate characteristics of the passengers 
C^l from video data, initialising tracking by means of a head model, verifying said extracted characteristics by pattern recognition and 

Oin tracking said verified characteristics by means of said head model. The inventive device based on a store controller which is used 
for carrying out said method is also disclosed. 
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Zur Erkldrung der Zweibuchstaben-Codes und der anderen Ab- 
kurzungen wird auf die Erklarungen ("Guidance Notes on Co- 
des and Abbreviations") am Anfang jeder regularen Ausgabe der 
PCT -Gazette verwiesen. 



(57) Zusammenfassung: Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung der 3D-Position von Fahrzeuginsassen, 
das folgende Schritte umfasst: Beobachtung der Fahrzeuginsassen mit mindestens zwei Kameras (1, 2, T, 2'), die derart angeordnet 
sind, dass diese nicht notwendigerweise nach einem Stereoansatz betrieben werden mussen; Extraktion geeigneter Merkmale aus den 
aufgezeichneten Videodaten der Fahrzeuginsassen; Initial isierung eines Trackingschritts anhand eines Kopfmodells; Verifikationder 
extrahierten Merkmale mittels Mustererken nung; und Tracking der verifizierten Merkmale anhand des Kopfmodells. Die Erfindung 
betrifft ebenfalls eine Controller-basierende Vorrichtung zur Implementierung des obigen Verfahrens. 
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Verfahren und Vorrichtung zur Bestimmung 



der 3D-Position von PKW-Insassen 



Die vorliegende Erfindung betrifft allgemein ein Verfahren 
und eine Vorrichtung zur Bestimmung der 3D-Position und ins- 
5 besondere ein Verfahren und eine Vorrichtung zur Bestimmung 
der 3D-Kopf position und/oder Kopfhaltung eines Fahrers oder 
Beifahrers eines Pkw's. Das erf indungsgemaSe Verfahren bzw. 
die erf indungsgemaSe Vorrichtung eignet sich besonders zur 
Blickrichtungserkennung eines Fahrers oder Beifahrers eines 
10 Pkw's sowie zur Mudigkeitsdetektion. Daruber hinaus stellt 
das erf indungsgemaSe Verfahren bzw. die erf indungsgemaSe Vor- 
richtung eine Moglichkeit zur Bestimmung des Zustands der 
Augenlieder eines Fahrers oder Beifahrers eines Pkw's zur 
Verf iigung . 



Stand der Technik 

Verfahren zur Verknupfung mehrerer Sensoren zur Bestimmung 
der 3D-Position von Objekten im Raum sind im Zusammenhang mit 
20 sogenannten "Virtual Reality" -Verf ahren bekannt . Dabei nimmt 
beispielsweise ein elektromagnetisches Tracking-System zum 
einen die Kopfposition und die Sichtrichtung eines Benutzers 
auf , was als Head-Tracking bezeichnet wird. Zum anderen nimmt 
das elektromagnetische Tracking- System die Position eines 3D- 



15 
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Eingabegerats auf (z. B. Stift, 3D- Joystick, Datenhandschuh 
usw.). Mit diesen 3D-Eingabegeraten hat ein Benutzer die 
Moglichkeit, mit den Daten direkt in Wechselwirkung zu 
treten, d. h. er hat die Moglichkeit, sich in der virtuellen 
5 Welt zu bewegen und die Datenobjekte anzufassen, zu drehen 
und zu skalieren. 

Ebenfalls sind aus dem Stand der Technik Stereoverf ahren zur 
Blickrichtungserkennung von Fahrzeuginsassen bekannt , 
10 beispielsweise FaceLab™ der Firma Seeingmachines . 

Aus der US-B1-6 324 453 ist ein Verf ahren zur Erkennung und 
Bestimmung der Position eines Pkw-Fahrers bzw. Beifahrers 
bekannt, wobei ein IR- Sensor oder eine Vielzahl von IR-Sen- 

15 soren eingesetzt werden. Mittels der IR-Sensoren wird der zu 
uberwachende Pkw-Fahrer erf asst. Die erfasste Information 
wird dabei anhand von vorgegebenen Mustern ausgewertet, urn 
die Position des Fahrers bzw. Beifahrers fur eine gesteuerte 
Auslosung des Airbags heranzuziehen. Durch diese Steuerung 

20 soli die Verletzung des Fahrers bzw. Beifahrers bei einer 
unfallbedingten Auslosung des Airbags vermieden werden. Die 
Mustererkennung erfolgt mit Hilfe eines neuronalen Netzwerks 
oder eines neuronalen Fuzzy-Systems, das die Pkw-Insassen 
erkennt. In einigen Anwendungen gemaS der US-B1-6 324 453 

25 wird das Mustererkennungssystem mit einer Bildbibliothek 
ausgestattet, die es erlaubt, einen Vergleich mit den 
erfassten Bildern zu machen, wodurch eine relativ genaue 
Posit ionsbestimmung der sitzenden Pkw-Insassen moglich ist, 
wobei vermieden wird, dass eine Erfassung der Kopf posit ion 

30 erforderlich ist. 
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Eine Vorrichtung zur Bestimmung der Kopfposition eines Pkw- 
Insassen in Anwesenheit von Gegenstanden, die die Sicht von 
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Sensoren zum Kopf des Insassen verdecken, ist aus der US-B1-6 
088 640 bekannt. Die Vorrichtung der US-B1-6 088 640 ist dazu 
ausgebildet, die Kopfstutzen eines Pkw's durch Schrittmotoren 
optimal zur Kopfposition eines Insassen zu positionieren, urn 
5 im Falle einer Kollision mit einem nachf ahrenden Pkw, 
Verletzungen der Insassen zu vermeiden. In einer 
Aus fuhrungs form der US-A1-6 088 640 besteht die Sensorik zur 
Bestimmung der Kopfposition eines Fahrzeuginsassen aus einem 
Ultraschallsender, einem Ultraschallempf anger und einem 

10 Kontaktsensor, die alle in einer Kopfstutze des Pkw's 
angebracht sind. Die Ultraschall sensoren bestimmen den 
Abstand des Kopfes zur Stiitze und regeln solange deren Po- 
sition, bis der Abstand einen minimalen Wert einnimmt. Die 
Ultraschallsensoren bestimmen auch den Langenabstand der 

15 Kopfstutze zum Kopf des Insassen, Letztere Bestimmung kann 
durch die ungenaue Ausrichtung des Kopfes mit den Ultra- 
schallsensoren oder durch interf erierende Gegenstande wie 
z.B. Hut, Kragen oder Frisur des Insassen falsche Ergebnisse 
liefern. Diese Fehlerquelle wird beseitigt, indem die Bewe- 

20 gung der Kopfstutze beim Kontakt des Kopfes mit dem Kontakt- 
sensor gestoppt wird. Somit kann eine optimale Position der 
Kopfstutze bestimmt werden. In einer Abwandlung werden in der 
US-B1-6 088 640 ein Ultraschallsender und drei Ultraschall- 
empf anger bereitgestellt, und die Erfassung der Kopfposition 

25 erfolgt mittels eines neuronalen Netzwerks oder eines anderen 
Mustererkennungssystems . Diese Anordnung mit einer Vielzahl 
von Ultraschallempfangern, die an einer Vielzahl von Stellen 
an der Kopfstutze angeordnet sind, gestattet eine Erkennung 
der Kopfposition, selbst wenn ein Hindernis, wie oben 

3 0 erwahnt , vor 1 iegt . 

Angesichts des Standes der Technik ist es eine Aufgabe der 
vorliegenden Erfindung ein Verfahren und eine Vorrichtung zur 
Bestimmung von 3D-Positionen bereitzustellen, das bzw. die 
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zuverlassig und auf eine einfache Art und Weise, unter 
Verwendung von mehr als einer Kamera, die Kopf posit ion von 
Fahrzeuginsassen bestimmt . 

5 Im Rahmen der obigen Aufgabe besteht eine weitere Aufgabe der 
Erfindung in der Bereitstellung eines Verfahrens und einer 
Vorrichtung zur Erkennung der Blickrichtung eines Insassen 
eines Pkw's. Daruber hinaus besteht eine zusatzliche Aufgabe 
der vorliegenden Erfindung in der Bereitstellung eines Ver- 
10 fahrens und einer Vorrichtung zur Detektion und Verfolgung 
der Augenlieder von Fahrzeugsinsassen. 

Zusammenf as sung der Erfindung 

15 Diese Aufgabe sowie weitere der nachstehenden Beschreibung zu 
entnehmenden Aufgaben werden mit einem Verfahren 
bereitgestellt, das zur Bestimmung der 3D-Position von 
Fahrzeuginsassen die folgenden Schritte umfasst: Beobachtung 
der Fahrzeuginsassen mit mindestens zwei Kameras, die derart 

20 angeordnet sind, dass diese nicht notwendigerweise nach einem 
Stereoansatz betrieben werden mussen; Extraktion geeigneter 
Merkmale aus den erfassten Videodaten der Fahrzeuginsassen; 
Initialisierung eines Trackingschritts anhand eines 
Kopfmodells; Verifikation der extrahierten Merkmale mittels 

25 Mustererkennung; und Tracking der verif izierten Merkmale 
anhand des Kopfmodells. 

Die erf indungsgemafie Vorrichtung zur Bestimmung der 3D-Posi- 
tion von Fahrzeuginsassen umfasst folgendes: mindestens zwei 
30 Kameras zur Beobachtung der Fahrzeuginsassen, die derart 
angeordnet sind, dass diese nicht notwendigerweise nach einem 
Stereoansatz betrieben werden mussen; und einen Controller, 
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der folgendes umfasst: Mittel zur Extraktion geeigneter 
Merkmale aus den erfassten Videodaten der Fahrzeuginsassen; 
Mittel zur Initialisierung eines Trackingschritts anhand 
eines Kopfmodells; Mittel zur Verif ikation der extrahierten 
5 Merkmale mittel s Mustererkennung; und Mittel zum Tracking der 
verif izierten Merkmale anhand des Kopfmodells. 

Weitere vorteilhafte Merkmale der Erfindung sind in den an- 
liegenden Unteranspruchen ausgefuhrt. 

10 

Weitere Merkmale und Vorteile der vorliegenden Erfindung so- 
wie der Aufbau und die Wirkungsweise verschiedener Ausfiih- 
rungsformen der vorliegenden Erfindung werden unten mit Bezug 
auf die begleitenden Zeichnungen beschrieben. Die begleiten- 
15 den Zeichnungen veranschaulichen die vorliegende Erfindung 
und dienen zusammen mit der Beschreibung weiterhin dazu, die 
Grundsatze der Erfindung zu erklaren und einem Fachmann auf 
dem betreffenden Gebiet zu ermoglichen, die Erfindung zu im- 
plement ieren und zu verwenden. Dabei zeigt : 

20 

Fig. 1 eine schematische Darstellung einer ersten Aus- 
fuhrungsform der erf indungsgemafien Vorrichtung; und 

Fig. 2 eine schematische Darstellung einer zweiten Aus- 
fuhrungsform der erf indungsgemaSen Vorrichtung. 

25 

Beschreibung der bevorzugten Ausfuhrungsformen der Erfindung 

Unter Bezugnahme auf die Fig. 1 wird eine erste Ausfuhrungs- 
form der erf indungsgemaSen Vorrichtung zur Bestimmung der 
30 Kopf posit ion von Fahrzeuginsassen gezeigt, in der zwei Kame- 
ras 1 und 2 im Frontbereich eines schematisch gezeigten 
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Fahrzeugs 10 wie gezeigt angebracht sind. In einer besonders 
bevorzugten Ausgestaltungsform der Erfindung konnen die 
Kameras auch derart angebracht sein, dass sich diese direkt 
vor dem Gesichtsfeld des Fahrers befinden, insbesondere an 
5 der Instrument entaf el angebracht sind. Die Kameras 1 und 2 
konnen fest ausgerichtet sein oder mit Hilfe von nicht ge- 
zeigten Stellmotoren jeweils auf einen Fahrer und einen Bei- 
fahrer ausgerichtet werden. Wobei entweder die Kameras 
kalibriert werden mussen, beispielsweise unter Zuhilfenahme 

10 eines Schachbrettmusters, oder aber die gegenseitige Position 
und Orientierung der Kameras bekannt sein muss. Es ist 
denkbar, jeweils ein Kamerapaar fur den Fahrer bzw. Bei fahrer 
zur Verfugung zu stellen. Die Kameras 1 und 2 sind uber einen 
geeignete Verbindung oder Ubertragungsstrecke (z. B. 

15 Glasfaser, Bluetooth, WLAN, Verdrahtung oder dergleichen) mit 
einem gestrichelt gezeigten Controller 3 verbunden, der 
beispielsweise im Bordcomputer des Fahrzeugs 10 implementiert 
werden kann. 

20 Nach einem wichtigen Aspekt der vorliegenden Erfindung muss en 
die Kameras 1 und 2 nicht notwendigerweise nach einem 
Stereoansatz betrieben werden. Die Kameras 1 und 2 sind auch 
nicht notwendigerweise synchronisiert . Es ist daher moglich, 
die Kameras 1 und 2 mit unterschiedlichen Blickfeldern so zu 

25 positionieren, dass ein Auge eines Fahrers 4 immer sichtbar 
ist. Diese Positionierung ist erf indungsgemaS nicht 
problematisch, da das Blickfeld des Kammerapaars 1 und 2, wie 
erwahnt, nicht notwendigerweise einem Stereoansatz gemigen 
muss, so dass das Blickfeld wesentlich groSer als beim 

30 Stereoansatz sein kann. 

Die Kameras 1 und 2 konnen beispielsweise im sichtbaren Be- 
reich oder im IR-Bereich betrieben werden. Es ist jedoch auch 
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moglich abbildende Sensoren, welche in anderen 
Wellenlangenbereichen arbeiten, mit analoger Wirkungsweise 
erfindungsgemafi zum Einsatz zu bringen. 

5 Der Controller 3 empfangt die Videodaten von den Kameras 1 
und 2, extrahiert geeignete Gesichts- bzw. Formmerkmale des 
Insassen (z. B. Augen, Nasenlocher, Mundwinkel, Augenbrauen, 
Haaransatz usw.), und fuhrt ein an und fur sich bekanntes 
Trackingverfahren aus, das nachstehend in Verbindung mit der 
10 Wirkungsweise der erf indungsgemaSen Vorrichtung erlautert 
wird. 

Unter Bezugnahme auf die Pig. 2 wird eine zweite Ausfuh- 
rungsform der erf indungsgemafien Vorrichtung zur Bestimmung 
15 der Kopf position von Fahrzeuginsassen gezeigt, in der eine 
erste Kamera 1 ' im Frontbereich des schematised gezeigten 
Fahrzeugs 10 und eine zweite Kamera 2 1 in dessen Seitenbe- 
reich wie gezeigt angebracht sind. 

20 Analog zur Fig. 1 konnen die Kameras l 1 und 2' der Fig. 2 
fest ausgerichtet sein oder mit Hilfe von nicht gezeigten 
Stellmotoren jeweils auf den Fahrer, den Beifahrer oder einen 
weiteren Insassen ausgerichtet werden. Die Kameras 1* und 2' 
der Fig. 2 sind erf indungsgemaS ebenfalls nicht 

25 notwendigerweise nach einem Stereoansatz positioniert und 
sind auch nicht notwendigerweise synchronisiert . Somit wird, 
wie mit der Anordnung der Fig. 1, ein groSeres Sichtfeld 
bereitgestellt . 

30 Die nachstehend geschilderte Wirkungsweise der Ausfuhrungs- 
formen der Figuren 1 und 2 ist gleich. 
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Zunachst werden in einem ersten Schritt gemaS der Erfindung 
der Insasse bzw. die Insassen des Fahrzeugs mit derart ange- 
brachten Kameras aufgezeichnet , dass nicht notwendigerweise 
ein Stereoansatz zwischen den Kameras besteht. SolchermaSen 
5 sind die Kameras nicht notwendigerweise synchronisiert . 

In einem zweiten Schritt erfolgt gemaS der vorliegenden Er- 
findung die Extraktion von Gesichts- oder Formmerkmalen des 
Insassen bzw. der Insassen des Pkw's, insbesondere der Augen, 
10 der Nasenlocher, des Mundwinkels, der Augenbrauen, des Haar- 
ansatzes oder dergleichen. 

In einem weiteren Schritt erfolgt die Initialisierung eines 
Trackingverfahrens anhand eines anthropometrischen Modells 

15 des Kopfes. Als besonders vorteilhaft hat sich erfindungs- 
gemafi ein Trackingverf ahren nach Greg Wech und Gary Bishop 
erwiesen, das in 11 SCAAT : Incremental Tracking with Incomplete 
Information", 1996, University of North Carolina at Chapel 
Hill, CB 3175, Sitterson Hall, Chapel Hill, NC, 27599-3175 

20 oder "One-Step-at-a-Time Tracking", 1996, University of North 
Carolina at Chapel Hill, CB 3175, Sitterson Hall, Chapel 
Hill, NC, 27599-3175, beschrieben wird. Diese Trackingver- 
f ahren nach dem Stand der Technik bieten eine wesentlich ver- 
besserte Schatzungsrate und Latenz, eine verbesserte Genauig- 

25 keit und einen verbesserten Rahmen fur die Vereinigung von 
Daten, die von einer Vielzahl nicht notwendigerweise 
synchronisierter Sensoren (Kameras) herruhren. Der Inhalt der 
zwei oben genannten Wech et al. Verof f entlichungen wird 
hiermit durch Bezugnahme vollstandig eingeschlossen. Beide 

30 Veroff entlichungen sind unter www.cs.unc.edu/ als TR96-051 
bzw. TR96-021 verfugbar. 
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Erf indungsgemafi basiert das Tracking auf Kalman-Filterung 
aller aufgezeichneten Merkmale, wobei die Kameras nicht 
notwendigerweise wie beim Stereoansatz synchronisiert sein 
mussen. In einer vorteilhaf ten Weise kann beim asynchronen 
5 Betrieb mit mehreren Kameras entsprechend der Anzahl der 
Kameras ein Vielfaches an Bildern in der gleichen Zeit 
aufgezeichnet werden. 

In einem weiteren Schritt wird gemaS der vorliegenden Erfin- 
10 dung die Verfikation der detektierten Merkmale mit Verfahren 
der statistischen Mustererkennung durchgef uhrt . Hier werden 
bekannte Mustererkennungsverf ahren, wie beispielsweise neuro- 
nale Netzwerke, neuronale Fuzzy- Systeme, und Mustererken- 
nungssysteme mit Bildbibliothek eingesetzt, die zum Teil 
15 gemaS dem in der Einleitung der vorliegenden Beschreibung 
geschilderten Stand der Technik implementiert werden. 

Auf den Verif ikationsschritt folgt ein Trackingschritt der 
verif izierten Merkmale anhand des Kopfmodells. 

20 

In einer weiteren Ausbildung des erf indungsgemaSen Verfahrens 
erfolgt die Blickrichtungserkennung oder die Bestimmung des 
Zustands der Augenlieder des Insassen bzw. der Insassen 
mittels bekannter Verfahren. Daraus ist auch eine 
25 Miidigkeitsdetektion mit entsprechenden Warnschritten 
ableitbar. Nach einem weiteren Aspekt des erf indungsgemaSen 
Verfahrens ist eine Detektion der Kopfhaltung des Insassen 
bzw. der Insassen moglich. 

30 Die vorliegende Erfindung hat eine Vielzahl von praktischen 
Anwendungen, von denen nachstehend einige exemplar isch aufge- 
zahlt werden. 
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So ermoglicht die Bestimmung der 3D-Kopfposition von Fahrer 
oder Beifahrer z.B. eine situationsangepasste Auslosung des 
Airbags. Die Auslosung des Airbags kann abhangig von der er- 
5 fassten Position durch den Controller 3 verhindert werden, 
falls in dieser Position das Risiko einer Verletzung des 
Fahrers oder Beifahrers besteht. 

Die Bestimmung der Kopfhaltung bzw. der Blickrichtung der 
10 Insassen erlaubt im Zusammenspiel mit einer f ahrzeugublichen 
Umgebungssensorik eine situationsangepasste Warnung des Fah- 
rers und gegebenenfalls des Beifahrers. 

Die Kenntnis des Augenzustandes (of f en/geschlossen) kann zur 
15 Miidigkeitsdetektion verwendet werden. Hierzu kann auch die 
aus den Videodaten extrahierte Augen-Blinzelrate herangezogen 
werden , 

Die exakte Bestimmung der 3D-Kopfposition erlaubt eine adap- 
20 tive Einstellung der Kopfstutze 5 zur individuellen Optimie- 
rung der Insassensicherheit . Die erf indungsgemaSe Vorrichtung 
und das erf indungsgemaSe Verfahren uberwindet die aus der US- 
Bl-6 088 640 bekannten Probleme, die durch die ungenaue Aus- 
richtung des Kopfes mit den Sensoren oder durch interferie- 
25 rende Gegenstande entstehen konnen. 

Ferner kann bei bekannter Augenposition eine automat ische, 
individuelle Einstellung des Sitzes 6 erfolgen. 

30 AuSerdem kann die Erfindung zur Bedienung eines Bildtelefons 
fur Telematikanwendungen im Fahrzeug genutzt werden. Auch 
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ware eine Erkennung der Gesichtsmerkmale des Fahrers zum 
Zwecke der Authentif izierung denkbar. 

Die vorliegende Erfindung kann vielfaltig verandert werden. 
5 So kann z.B. die Anzahl und Position der in den Figuren 1 und 
2 gezeigten Kameras verandert werden, ohne sich vom 
Schutzumfang der Erfindung zu losen. Dabei ist es denkbar, 
mehr als ein Kamerapaar einzusetzen, wobei jedes Paar auf 
einen Fahrzeuginsassen ausgerichtet und nicht 

10 notwendigerweise nach einem Stereoansatz betrieben werden 
muss. Es ist ebenfalls denkbar, wie bereits erwahnt, 
schwenkbare Kamerapaare einzusetzen. 

Wenn Merkmale in den Anspriichen mit Bezugszeichen versehen 
15 sind, so sind diese Bezugszeichen lediglich zum besseren Ver- 
standnis der Anspruche vorhanden. Dement sprechend stellen 
solche Bezugszeichen keine Einschrankungen des Schutzumf angs 
solcher Elemente dar, die nur exemplarisch durch solche Be- 
zugszeichen gekennzeichnet sind. 
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Patentanspruche 



10 



15 



20 



1. Verfahren zur Bestimmung der 3D-Position von Fahr- 
zeuginsassen, das folgende Schritte umfasst: 

Beobachtung der Fahrzeuginsassen mit mindestens zwei 
Kameras (1, 2, l f , 2'), die derart angeordnet sind, dass 
diese nicht notwendigerweise nach einem Stereoansatz 
betrieben werden miissen; 

Extraktion geeigneter Merkmale aus den aufgezeichneten 
Videodaten der Fahrzeuginsassen; 

Initialisierung eines Trackingverf ahrens anhand eines 
Kop f model Is; 

Verifikation der extrahierten Merkmale mittels 
Mustererkennung ; und 

Tracking der verif izierten Merkmale anhand des 
Kopfmodells. 

2. Verfahren nach Anspruch 1, worin die Merkmale aus 
einer Gruppe gewahlt sind, die aus Gesichts- oder Formmerk- 
malen der Insassen bestehen. 

3. Verfahren nach Anspruch 2, worin die Gesichts- oder 
Formmerkmale Augen, Nasenlocher, Mundwinkel, Augenbrauen oder 
Haaransatz umfassen. 
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4. Verfahren nach einem oder mehreren der Anspruche 1-3, 
worin die Kameras (1, 2, 1', 2') nicht synchronisiert sein 
miissen. 

5 5. Verfahren nach einem oder mehreren der- Anspriiche 1-4, 

worin die Kameras (1, 2, l 1 , 2») mit unterschiedlichen Blick- 
feldern derart positioniert sind, dass ein Auge eines Fahrers 
(4) immer sichtbar ist. 

10 6. Verfahren nach einem oder mehreren der Anspriiche 1-5, 

das weiterhin den Schritt der Bestimmung der Kopfhaltung von 
Insassen umf asst . 

7. Verfahren nach einem oder mehreren der Anspriiche 1-6, 
15 das weiterhin den Schritt der Bestimmung der Blickrichtung 

von Insassen umf asst . 

8. Verfahren nach einem oder mehreren der Anspruche 1-7, 
das weiterhin den Schritt der Bestimmung des Zustands der 

20 Augenlider der Insassen umf asst. 

9. Verfahren nach einem oder mehreren der Anspruche 1-8, 
worin der Trackingschritt auf die Kalman-Filterung aller 
aufgezeichneten Merkmale der Kameras (1, 2; 1', 2 ! ) basiert, 

25 wobei die Kameras asynchron betrieben werden konnen. 

10. Verfahren nach einem oder mehreren der Anspruche 
1-9, worin das Kopfmodell ein anthropometrisches Modell ist. 
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11. Verfahren nach einem oder mehreren der Anspriiche 
1-10, worin die Mustererkennung eine statistische 
Mustererkennung ist. 

5 12. Vorrichtung zur Bestimmung der 3D-Position von 

Fahrzeuginsassen, die folgendes umfasst: 

mindestens zwei Kameras (1, 2, l 1 , 2 1 ) zur Beobachtung 
der Fahrzeuginsassen, die derart angeordnet sind, dass diese 
nicht notwendigerweise nach einem Stereoansatz betrieben 
10 werden muss en; und 

einen Controller (3), der folgendes umfasst: 

Mittel zur Extraktion geeigneter Merkmale aus den 
aufgezeichneten Videodaten der Fahrzeuginsassen; 

Mittel zur Initialisierung eines Trackingschritts anhand 
15 eines Kopfmodells; 

Mittel zur Verif ikation der extrahierten Merkmale 
mittels Mustererkennung; und 

Mittel zum Tracking der verif izierten Merkmale anhand 
des Kopfmodells. 

20 

13. Vorrichtung nach Anspruch 12, worin die Merkmale aus 
einer Gruppe gewahlt sind die aus Gesichts- oder Formmerkma- 
len der Insassen bestehen. 

25 14. Vorrichtung nach Anspruch 13, worin die Gesichts- 

oder Formmerkmale Augen, Nasenlocher, Mundwinkel, Augenbrauen 
oder Haaransatz umfassen. 
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15. Vorrichtung nach einem oder mehreren der Anspriiche 
12-14, worin die Kameras (1, 2, I 1 , 2') nicht synchronisiert 
sein miissen. 



12-15, worin die Kameras (1, 2, 1', 2') mit unterschiedlichen 
Blickfeldem derart positioniert sind, dass ein Auge eines 
Fahrers (4) imrner sichtbar ist. 



12-16, die weiterhin Mittel zur Bestimmung der Kopfhaltung 
von Insassen umfasst. 

18 . Vorrichtung nach einem oder mehreren der Anspriiche 
15 12-17, die weiterhin Mittel zur Bestimmung des Zustands der 

Augenlieder der Insassen umfasst. 

19. Vorrichtung nach einem oder mehreren der Anspriiche 
12-18, worin die Mittel zum Tracking ausgebildet sind, die 

20 Kalman-Filterung aller aufgezeichneten Merkmale der Kameras 
(1, 2; 1', 2') durchzufiihren, wobei die Kameras asynchron 
betrieben werden konnen. 

20. Vorrichtung nach einem oder mehreren der Anspriiche 
25 12-19, worin die Kameras (1, 2) im Frontbereich des Fahrzeugs 

(10) angeordnet sind. 



5 



16. Vorrichtung nach einem oder mehreren der Anspriiche 



10 



17. Vorrichtung nach einem oder mehreren der Anspriiche 



30 



21. Vorrichtung nach einem oder mehreren der Anspriiche 
12-19, worin eine Kamera (!') im Frontbereich und die andere 
Kamera im Seitenbereich des Fahrzeugs (10) angeordnet ist. 



WO 2004/052691 PCT/EP2003/013685 
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22. Vorrichtung nach einem oder mehreren der Anspruche 12-21, 
worin der Controller (3) weiterhin Mittel umfasst, urn anhand 
der detektierten Kopfposition die Auslosung eines Airbags 
und/oder die Einstellung einer Kopfstutze (5) und/oder die 
5 Einstellung eines Sitzes des Fahrzeugs zu steuern. 



INTERNATIONAL SEARCH REPORT 




A. CLASSIFICATION OF SUBJl^UATTER 

IPC 7 B60R21/01 G06K9/00 



According to international Patent Classification (IPC) or to both national classification and IPC 



* 



lonal Application No 

P 03/13685 



B. FIELDS SEARCHED 



Minimum documentation searched (classification system followed by classification symbols) 

IPC 7 B60R G06K 



Documentation searched other than minimum documentation to the extent that such documents are included In the fields searched 



Electronic data base consulted during the internal tonal search (name of data base and, where practical, search terms used) 

EPO-Internal , HP I Data, PAJ 



C. DOCUMENTS CONSIDERED TO BE RELEVANT 



Category 0 Citation of document, with Indication, where appropriate, of the relevant passages 



Relevant to claim No. 



EP 1 134 691 A (TOKYO SHIBAURA ELECTRIC 
CO) 19 September 2001 (2001-09-19) 
paragraph '0011!; figures 

US 2001/000025 Al (W00DFILL JOHN ET AL) 
15 March 2001 (2001-03-15) 
paragraph '0008! - paragraph '0011!; 
figures 

WO 99/53430 A (ELAGIN EG0R VALERIEVICH ; 
EYEMATIC INTERFACES INC (US); MAURER 
THOMAS) 21 October 1999 (1999-10-21) 
page 1, line 23 - page 2, line 7; figures 

-/-- 



1-22 



1-22 



1,12 



Further documents are listed in the continuation of box C. 



Patent family members are listed in annex. 



9 Special categories of cited documents : 

■A" document defining the general state of the art which is not 

considered to be of particular relevance 
"E" earlier document but published on or after the International 

filing date 

V document which may throw doubts on priority ctaJm(s) or 
which Is cited to establish the publication dale of another 
citation or other special reason (as specified) 

■O' document referring to an oral disclosure, use, exhibition or 
other means 

■P' document published prior to the international filing date but 
later than the priority date claimed 



'V later document published after the intemattona! filing dale 
or priority date and not in conflict with the application but 
cited to understand the principle or theory underlying the 
Invention 

■X' document of particular relevance; the claimed invention 
cannot be considered novel or cannot be considered to 
Involve an Inventive step when the document is taken atone 

•V docurnenl of particular relevance; the claimed invention 
cannot be considered to Involve an inventive step when the 
document Is combined with one or more other such docu- 
ments, such combination being obvious to a person skilled 
in the art. 

document member of the same patent family 



Date of the actual completion of the international search 



6 May 2004 



Date of mailing of the international search report 



17/05/2004 



Name and mailing address of the ISA 

European Patent Office, P.B. 5818 Patentlaan 2 
NL-2280HVFHjswijk 
TeL (431-70) 340-2040. Tx. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Authorized officer 



Daehnhardt, A 



Form PCT/ISA/210 (second sheet) (January 2004) 



page 1 of 2 



INTERNATIONAL SEARCH REPORT 



C.(ContinuaUon) DOCUMEI 



NTjR, 



felDERED TO BE RELEVANT 



itlonal Application No 

P 03/13685 



Category * 



Citation of document, with Indication, where appropriate, of the relevant passages 



Relevant to claim No. 



US 6 463 176 Bl (IIJIMA KATSUMI ET AL) 

8 October 2002 (2002-10-08) 

cited 1n the application 

column 2, line 35 - column 3, line 28; 

figures 

US 6 088 640 A (BREED DAVID S) 

11 July 2000 (2000-07-11) 

cited 1n the application 

column 2, line 10 - column 3, line 36; 

figures 

EP 0 703 094 A (I D TEC S L) 

27 March 1996 (1996-03-27) 

column 3, line 37 - column 4, line 29; 

figures 

COLOMBO C ET AL: "Real-time head tracking 
from the deformation of eye contours using 
a plecewlse afflne camera" 
PATTERN RECOGNITION LETTERS, NORTH-HOLLAND 
PUBL. AMSTERDAM, NL, 

vol. 20, no. 7, July 1999 (1999-07), pages 
721-730, XP004173760 
ISSN: 0167-8655 
the whole document 

DEVY M ET AL: "Detection and 
classification of passenger seat occupancy 
using stereovislon" 

INTELLIGENT VEHICLES SYMPOSIUM, 2000. IV 
2000. PROCEEDINGS OF THE IEEE DEARBORN, 
HI, USA 3-5 OCT. 2000, PISCATAWAY, NJ, 
USA,IEEE, US, 3 October 2000 (2000-10-03), 
pages 714-719, XP010529022 
ISBN: 0-7803-6363-9 
the whole document 

KRUMM J ET AL: "Video occupant detection 
for airbag deployment" 
APPLICATIONS OF COMPUTER VISION, 1998. 
WACV '98. PROCEEDINGS., FOURTH IEEE 
WORKSHOP ON PRINCETON, NJ, USA 19-21 OCT. 
1998, LOS ALAMITOS, CA, USA, IEEE COMPUT. 
SOC, US, 19 October 1998 (1998-10-19), 
pages 30-35, XP010315554 
ISBN: 0-8186-8606-5 
the whole document 



1,12 



1,12 



1,12 



1,12 



1,12 



1,12 



Form PCT/ISA/210 (continual ton of second sheet) (January 2004) 



page 2 of 2 



INTERNATIONAL SEARQH, REPORT 



gttonal Application No 

iEP 03/13685 



i M 

Patent document 


I — 


Publication 




Patent lamlly 


Publication 


cited In search report 




date 




member(s) 


date 


EP 1134691 


A 


19-09-2001 


JP 


2001331799 A 


30-11-2001 






EP 


1134691 A2 


19-09-2001 






US 


2003206645 Al 


06-11-2003 


US 2001000025 


Al 


15-03-2001 




£100777 R1 
Oioo/ / / Do. 


1 J Ut tUUl 






AU 


8584898 A 


22-02-1999 






EP 


0998718 Al 


10-05-2000 






WO 


9906940 Al 


11-02-1999 


WO 9953430 


A 


21-10-1999 


AT 


248409 T 


15-09-2003 






AU 


3490499 A 


01-11-1999 






AU 


3554199 A 


01-11-1999 






AU 


3639699 A 


01-11-1999 






BR 


9909611 A 


19-12-2000 






BR 


9909623 A 


19-12-2000 






CA 


2326816 Al 


21-10-1999 






CA 


2327304 Al 


21-10-1999 






DE 


69910757 Dl 


02-10-2003 






EP 


1072014 Al 


31-01-2001 






EP 


1072018 Al 


31-01-2001 






OP 


2002511617 T 


16-04-2002 






JP 


2002511620 T 


16-04-2002 






WO 


9953443 Al 


21-10-1999 






WO 


9953430 Al 


21-10-1999 






WO 


9953427 Al 


21-10-1999 






us 










US 


2003007666 Al 


09-01-2003 






us 


2001033675 Al 


25-10-2001 






us 


2002118195 Al 


29-08-2002 


US 6463176 


Bl 


08-10-2002 


JP 


3078166 B2 


21-08-2000 






ID 

dr 










jp 


3023903 B2 


21-03-2000 






JP 


7320086 A 








us 


2003044073 Al 


06-03-2003 


US 6088640 


A 


11-07-2000 


us 


2003015898 Al 


23-01-2003 


EP 0703094 


A 


27-03-1996 


ES 


2102296 Al 


16-07-1997 






ES 


2105936 Al 


16-10-1997 






AU 


1707795 A 


09-10-1995 






EP 


0703094 Al 


27-03-1996 






US 


5787186 A 


28-07-1998 






CA 


2163341 Al 


28-09-1995 






f N 


11P8006 A B 


31-07-1996 






EP 


0805409 A2 


05-11-1997 






ES 


2102307 Al 


16-07-1997 






WO 


9525640 Al 


28-09-1995 



Form PCT/lSA/210 (patent family annex) (January 2004) 



INTERNATIONALER RECHERCHENBERICHT 



A. KLASSIBZIERUNG DES AL. 

IPK 7 B60R21/01 



&UNGSGEGENSTANDES 

G06K9/00 



ttionates Aktenzeichen 
P 03/13685 



Nach der Intemationalen Patenlklasslfikation (IPK) oder nach der nallonalen Klassiflkatlon und der IPK 



& RECHERCHIERTE GEBIETE 



Ftecherchierler MlndestprOfstoff (Klassifikationssystem und Klassifikalionssymbole ) 

IPK 7 B60R G06K 



Recherchlerle aber nlchl zum MlndestprOfstoff gehBrende VeroffentBchungen, sowelt diese unter die recherchlerten Geblele fallen 



Wfihrend der intemationalen Recherche konsullierte eteklronische Datenbank (Name der Datenbank und evtl. verwendete SuchbegrWe) 

EPO-Internal , WPI Data, PAJ 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategorie 0 Bezeichnung der VerSffentllchung, sowelt ertotdertlch unter Angabe der in Betracht kommenden Telle 



Betr. Anspruch Nr. 



EP 1 134 691 A (TOKYO SHIBAURA ELECTRIC 
CO) 19. September 2001 (2001-09-19) 
Absatz '0011!; Abbildungen 

US 2001/000025 Al (W00DFILL JOHN ET AL) 

15. Marz 2001 (2001-03-15) 

Absatz '0008! - Absatz '0011!; Abbildungen 

W0 99/53430 A (ELAGIN EG OR VALERIEVICH ; 
EYEMATIC INTERFACES INC (US); MAURER 
THOMAS) 21. Oktober 1999 (1999-10-21) 
Selte 1, Zelle 23 - Seite 2, Zeile 7; 
Abbildungen 

-/-- 



1-22 



1-22 



1,12 



Welter© VerotfentHchungen sind der Fortsetzung von Feld C zu 
entnehmen 



Sieho Anhang Patenttamil'ie 



0 Besondere Kategorien von angegebenen VerOffentllchungen 

'A' Verdffentllchung, die den allgemelnen Stand derTechnlkdennlert, 
aber nicht als besonders bedeutsam anzusehen ist 

'E' aiteres Dokumenl, das jedoch erst am oder nach dem intemationalen 
Anmeldedatum verdffentlicht worden ist 

•L" Veroffentllchung, die geeignet ist, einen Priorftatsanspruch zwelfelhaft er- 
scheinen zu lassen, Oder durch cfie das VerdffenUJchungsdatum einer 
anderen im Recherchenberlcht genannten Ver6ffenlllchung belegt werden 
soli oder die aus elnem anderen besonderen Grund angegeben ist (wle 
ausgefflhrt) 

'O 1 Veraffentllchung, die sich auf eine mundliche Offenbarung, 

eine Benutzung, eine Ausstellung oder andere MaBnahmen beztehi 
■P" Veraffentllchung, die vordem Intemationalen Anmeldedatum, aber nach 
dem beanspruchten PriorltStsdatum verdffentlicht worden ist 



"T" SpaUere Verdffentllchung, die nach dem intemationalen Anmeldedatum 
Oder dem Prioraaisdalum verottenUlchl worden 1st und mil der 
Anmeldung nicht kollidiert, sondem nur zum Verstandnls des der 
Erflndung zugrundellegenden Prinzlps oder der Ihr zugrundellegenden 
Theorie angegeben ist 

•X" Verdffentllchung von besonderer Bedeutung; die beanspruchte Erfindung 
kann allein aufgrund dieser VerfiffentBchung nicht ate neu oder auf 
erfinderischer TStigkeit beruhend betrachtet werden 

T VerdffenUichung von besonderer Bedeutung; cfie beanspruchte Erfindung 
kann nicht ais auf erfinderischer TSttgkeit beruhend betrachtet 
werden, wenn die Veraffentllchung mil einer Oder mehreren anderen 
VerdffenUichungen dieser Kategorie in Verbindung gebracht wird und 
diese Verbindung fOr einen Fachmann nahellegend 1st 
Verdffentlichung, die MAglled derselben Patentfamille ist 



Datum des Abschlusses der internatfonaten Recherche 

6. Mai 2004 



Absendedatum des intemationalen Recherchenberichts 



17/05/2004 



Name und Postanschrtrt der Intemationalen Recherchenbehdrde 
EuropatechesPatentarnt, P.B. 5816 Patentlaan 2 
NL-2280HVRqswi)k 
TeL (+31-70) 340-2040, TX. 31 651 epo nl, 
Fax: (+31-70) 340-3016 



Bevollmachtlgler Becfiensteter 



Daehnhardt, A 



Formbtatt PCT/ISA/210 (Blatt 2){Januar 2004) 



Seite 1 von 2 



INTERNATIONALER RECHERCHENBERICHT 

• i. i i 



C.(Fortsetzung) ALS WESEN" 



MGESEHENE UNTERLAGEN 



itionales Aktenzelchen 

P 03/13685 



Kategorie 0 



Be2elchnung der Verfltfentlichung, soweB erfordertteh unter Angabe der in BetracW kommenden Teile 



Belr. Anspruch Nr. 



US 6 463 176 Bl (IIJIMA KATSUMI ET AL) 

8. Oktober 2002 (2002-10-08) 

1n der Anmeldung erwahnt 

Spalte 2, Zeile 35 - Spalte 3, Zeile 28; 

Abblldungen 

US 6 088 640 A (BREED DAVID S) 

11. Juli 2000 (2000-07-11) 

in der Anmeldung erwahnt 

Spalte 2, Zeile 10 - Spalte 3, Zeile 36; 

Abbildungen 

EP 0 703 094 A (I D TEC S L) 

27. Marz 1996 (1996-03-27) 

Spalte 3, Zeile 37 - Spalte 4, Zeile 29; 

Abbildungen 

COLOMBO C ET AL: "Real-time head tracking 
from the deformation of eye contours using 
a piecewise affine camera" 
PATTERN RECOGNITION LETTERS, NORTH-HOLLAND 
PUBL. AMSTERDAM, NL, 

Bd. 20, Nr. 7, Juli 1999 (1999-07), Selten 
721-730, XP004173760 
ISSN: 0167-8655 
das ganze Dokument 

DEVY M ET AL: "Detection and 
classification of passenger seat occupancy 
using stereovision" 

INTELLIGENT VEHICLES SYMPOSIUM, 2000. IV 
2000. PROCEEDINGS OF THE IEEE DEARBORN, 
MI, USA 3-5 OCT. 2000, PISCATAWAY, NJ, 
USA, IEEE, US, 

3. Oktober 2000 (2000-10-03), Seiten 
714-719, XP010529022 
ISBN: 0-7803-6363-9 
das ganze Dokument 

KRUMM J ET AL: "Video occupant detection 
for airbag deployment" 
APPLICATIONS OF COMPUTER VISION, 1998. 
WACV '98. PROCEEDINGS., FOURTH IEEE 
WORKSHOP ON PRINCETON, NJ, USA 19-21 OCT. 
1998, LOS ALAMITOS, CA, USA, IEEE COMPUT. 
SOC, US, 19. Oktober 1998 (1998-10-19), 
Seiten 30-35, XP010315554 
ISBN: 0-8186-8606-5 
das ganze Dokument 



1,12 



1,12 



1,12 



1,12 



1,12 



1,12 



Foimblall PCTASA/210 (Fortselaing von Bbtt 2) (Jamiar 2004) 



Seite 2 von 2 



INTERNATIONALER RECHERCHENBERICHT 

f • ' * 


In^^lionales AWenzeichen 

^K/EP 03/13685 


Im Recherchenber^J^ 

angefflhrtes Patentdokument 


Datum der 
Veraffentlichung 


Mitglled(er) der^^ 
Patentfamilie 


' Datum der 
Veraffentlichung 



EP 1134691 


A 


19-09-2001 


JP 


2001331799 A 


30-11-2001 








EP 


1134691 A2 


19-09-2001 








US 


2003206645 Al 


06-11-2003 


US 2001000025 


Al 


15-03-2001 


US 


6188777 Bl 


13-02-2001 








AU 


8584898 A 


22-02-1999 








EP 


0998718 Al 


10-05-2000 








WO 


9906940 Al 


11-02-1999 


WO 9953430 


A 


21-10-1999 


AT 


248409 


T 


15-09-2003 








AU 


3490499 


A 


01-11-1999 








AU 


3554199 


A 


01-11-1999 








AU 


3639699 


A 


01-11-1999 








BR 


9909611 


A 

n 


19-12-2000 








BR 


9909623 


A 


19-12-2000 








CA 


2326816 


Al 


21-10-1999 








CA 


2327304 


Al 


21-10-1999 








DE 


69910757 


Dl 


02-10-2003 








EP 


1072014 


Al 


31-01-2001 








EP 


1072018 


Al 


31-01-2001 








JP 


2002511617 


T 


16-04-2002 








JP 


2002511620 


T 


16-04-2002 








WO 


9953443 


Al 


21-10-1999 








WO 


9953430 


Al 


21-10-1999 








wo 


9953427 


Al 


21-10-1999 








US 


6301370 


Bl 


09-10-2001 








US 


2003007666 


Al 


09-01-2003 








US 


2001033675 


Al 


25-10-2001 








us 


2002118195 


Al 


29-08-2002 


US 6463176 


Bl 


08-10-2002 


JP 


3078166 


B2 


21-08-2000 








JP 


7220090 A 


18-08-1995 








JP 


3023903 


B2 


21-03-2000 








JP 


7320086 A 


08-12-1995 








us 


2003044073 Al 


06-03-2003 


US 6088640 


A 


11-07-2000 


us 


2003015898 Al 


23-01-2003 



EP 0703094 A 27-03-1996 



ES 


2102296 Al 


16-07-1997 


ES 


2105936 Al 


16-10-1997 


AU 


1707795 A 


09-10-1995 


EP 


0703094 Al 


27-03-1996 


US 


5787186 A 


28-07-1998 


CA 


2163341 Al 


28-09-1995 


CN 


1128006 A ,B 


31-07-1996 


EP 


0805409 A2 


05-11-1997 


ES 


2102307 Al 


16-07-1997 


WO 


9525640 Al 


28-09-1995 



Formblal! PCT/lSA/210 (Anhang Palentfamitie) (Januar 2004) 



